حل 10 مشکل Hadoop'able [ویدئو]

سرفصل ها و درس ها

اجزای اصلی Core Components

• بررسی اجمالی دوره The Course Overview

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• قابلیت محاسبه توزیع شده YARN Distributed Compute Capability YARN

اکوسیستم پایین دست Downstream Ecosystem

• Apache Hive برای ETL و SQL Like Apache Hive for ETL and SQL Like

• صف پیام و جذب داده کافکا Message Queuing and Data Ingestion Kafka

• NoSQL Datastores - Hadoop HBase، Accumulo NoSQL Datastores - Hadoop HBase, Accumulo

• یادگیری ماشین - Spark و Spark MLlib Machine Learning - Spark and Spark MLlib

• پردازش جریان - جریان جرقه Stream Processing - Spark Streaming

برنامه های مالی، تجاری و سری زمانی - نظارت بر تجارت Financial, Trade, and Time Series Applications – Trade Surveillance

• پردازش داده‌های پرداخت از یک جریان رویداد Processing Payment Data from an Event Stream

• تجمیع پیشرفته با استفاده از Streaming API - PaymentAnalyzer Advanced Aggregations Using Streaming API - PaymentAnalyzer

• ذخیره داده های سری زمانی در HBase Storing Time Series Data in HBase

AdTech – هدف گذاری تبلیغات AdTech – Ad Targeting

• تشخیص ترافیک BOT با استفاده از Spark Streaming Detecting BOT Traffic Using Spark Streaming

• اطلاعات ثبت وب را قابل پرس و جو کنید - Hive Sink Make Web Log Data Queryable - Hive Sink

• بررسی داده های مشتریان در Hive Investigating Customers Data in Hive

کسب و کار/نقطه فروش - تجزیه و تحلیل تراکنش Business/Point of Sale – Transaction Analysis

• زنجیره تامین پرطرفدار - یافتن کالای پرفروش به روش جریانی Trending Supply Chain - Finding Top Seller Item in a Streaming Way

• غنی سازی فروشندگان برتر با اطلاعات اضافی Enriching Top Sellers with Additional Information

تجزیه و تحلیل ریزش مشتری Customer Churn Analysis

• تجزیه و تحلیل ریزش مشتری (کمی) با استفاده از پرس و جوهای DataFrame Analyzing Customer Churn (Quantitative) Using DataFrame Queries

• تجزیه و تحلیل ریزش مشتری (مقدار) با استفاده از پرس و جوهای DataFrame Analyzing Customer Churn (Amounts) Using DataFrame Queries

اینترنت اشیا Internet of Things

• ذخیره سازی داده های سنسور ساختاری با دانه بندی پایین در HBase Storing Low Granularity Structured Sensor Data in HBase

• مصرف داده های حسگر ذخیره شده در HBase - اسکن و شمارش Consuming Sensor Data Stored in HBase - Scan and Count

• ایجاد خلاصه در جریان داده از دستگاه ها Building Summaries on Data Streaming from Devices

محاسبات علمی و با کارایی بالا Scientific and High Performance Computing

• معرفی Spark GraphX ​​- چگونه یک نمودار را نشان دهیم؟ Introducing Spark GraphX - How to Represent a Graph?

• انجام عملیات نمودار با استفاده از GraphX Perform Graph Operations Using GraphX

• شمارش درجه رئوس Counting Degree of Vertices

• تجمعات محله - جمع آوری همسایگان Neighborhood Aggregations - Collecting Neighbors

• اپراتورهای ساختاری - اجزای متصل Structural Operators - Connected Components

• رتبه صفحه با استفاده از Spark GraphX Page Rank Using Spark GraphX

تشخیص نفوذ نگرانی های امنیتی - تحلیل تهدید Security Concerns Intrusion Detection – Threat Analysis

• تشخیص ناهنجاری Anomaly Detection

• تجزیه و تحلیل گزارش های وب برای فعالیت مشکوک و بارگیری در Spark Analyzing Web Logs for Suspicious Activity and Loading into Spark

• پیاده سازی خوشه بندی - انتخاب تعداد خوشه ها Implementing Clustering - Choosing Number of Clusters

• تشخیص ناهنجاری ها در ترافیک شبکه Detecting Anomalies in Network Traffic

تجزیه و تحلیل متن Text Analysis

• تجزیه و تحلیل پست برای یک نویسنده Analyzing Post for an Author

• استخراج اطلاعات از متن بدون ساختار Extracting Information from Unstructured Text

• استخراج اطلاعات از طریق Spark DataFrame Extracting Information Via Spark DataFrame

• تحلیل احساسات پست ها با استفاده از رگرسیون لجستیک Sentiment Analysis of Posts Using Logistic Regression

• پیدا کردن نویسنده یک پست Finding an Author of a Post

انبار داده/دریاچه داده/جعبه شنی داده ها Data Warehouse/Data Lake/ Data Sandbox

• دانلود و تنظیم Cloudera Sandbox Downloading and Setting Cloudera Sandbox

• پیدا کردن محصولاتی که کاربران می‌خواهند با استفاده از جعبه ابزار Cloudera Sandbox بخرند Finding What Products Users Wants to Buy Using Cloudera Sandbox Toolkit

شخصی سازی Personalization

• استفاده از تاریخچه فیلم ها برای پیشنهاد محتوای جالب Using Movies History to Suggest Interesting Content

• تست و آزمایش با Recommendation Engine Testing and Experimenting with Recommendation Engine